Métricas de impacto y evaluación de la ciencia / Impact metrics and science evaluation

RESUMEN Los científicos siempre buscaron formas de evaluar los resultados de las investigaciones para reconocer y premiar sus esfuerzos, y para apoyar decisiones en programas y políticas públicas. Las medidas o métricas de impacto de la ciencia se transformaron, en las últimas décadas, en el motor propulsor del ambiente académico. Investigadores, revistas científicas, bases de datos y casas editoriales, instituciones de investigación y agencias de financiación tienen su trabajo gobernado por el impacto de la investigación que producen, publican, indexan, promueven y financian. Se utilizan largamente indicadores bibliométricos para la evaluación de la producción científica, a pesar de la falta de relación inequívoca entre citas y calidad, impacto o mérito científico. Además, cuando se considera la innovación, característica inherente de la investigación científica, la relación es todavía más desconectada. En este artículo se describen los tipos principales de métricas utilizadas para evaluar la producción científica, sus características, potenciales y limitaciones.

ABSTRACT Scientists have always looked for ways to evaluate research results to recognize and reward their efforts, and to support decisions regarding programs and public policies. The metrics of scientific impact have become, in recent decades, the driving force behind the academic environment. The work of researchers, scientific journals, databases and publishers, research institutions, and funding agencies is driven by the impact of the research they produce, publish, index, promote and finance. Bibliometric indicators are widely used for the evaluation of scientific output, despite the lack of a clear relationship between citations and quality, impact, or scientific merit. Furthermore, the relationship is even less evident regarding innovation, which is an inherent characteristic of scientific research. This article describes the main types of metrics used to evaluate scientific output, as well as its features, potentials, and limitations.

Indicadores bibliométricos: impacto y altmetrics para una evaluación amplia y equitativa de las revistas científicas de Colombia / Bibliometrics Indicators: Impact and Altmetrics for an Extensive and Equitable Assessment of Colombian Scientific Journals / Indicadores bibliométricos: impacto e altmetria para uma avaliação ampla e equitativa das revistas científicas colombianas

La medición y análisis de la calidad de las publicaciones científicas es de fundamental importancia para evaluar el progreso e impacto de investigadores, grupos de investigación y revistas científicas en la comunidad académica y la sociedad (1,2). Tradicionalmente, la evaluación se encomendaba a pares de reconocida trayectoria, idoneidad y prestigio. Sin embargo, para eliminar subjetividades, desde hace varios años se ha recurrido a indicadores bibliométricos que propenden por una calificación mensurable, objetiva y multidimensional (1,3). Los indicadores bibliométricos (IB) pueden definirse como cuantificadores de información bibliográfica, disponible en documentos científicos y académicos, susceptible de ser analizada en términos de producción y consumo (1,2). Existe una variada tipología de IB (1,2) en función del objeto a examinar (investigador, revista o grupo de investigación) y que en algunos casos son transversales a este. Así, los indicadores personales (edad, sexo y antecedentes de los autores) solo aplican a investigadores o grupos, mientras que los de productividad e impacto aplican también a revistas. Para estas, el indicador de productividad (cantidad) y, aún más, el de impacto ("calidad") son rutinariamente empleados para clasificarlas y compararlas con el propósito, cada vez más controversial, de medir su pertinencia y relevancia académica y/o social (4).

Measuring and analyzing the quality of scientific publications is fundamentally important for assessing the progress and impact of researchers, research groups and scientific journals in the academic community and society (1,2). Traditionally, this assessment was entrusted to peers with a recognized track record, eligibility and prestige. However, bibliometric indicators have been used for several years to eliminate subjectivity, which aim at a measurable, objective and multi-dimensional qualification (1,3). Bibliometric indicators (BI) can be defined as quantifiers of the bibliographic information available in scientific and academic documents susceptible to being analyzed in terms of production and consumption (1,2). There is a typological variety of BI (1,2) based on the object to be examined (researcher, journal or research group) and, in some cases, they are cross-sectional to it. In this way, personal indicators (age, gender and background of the authors) only apply to researchers or groups, while productivity and impact also apply to journals. For journals, the productivity (quantity) and, more so, impact ("quality") indicators, are routinely used to classify journals and compare them, with the increasingly controversial purpose of measuring their academic and/or social pertinence and relevance (4).

A medição e análise da qualidade das publicações científicas é de fundamental importância para avaliar o progresso e o impacto de pesquisadores, grupos de pesquisa e revistas científicas na comunidade acadêmica e na sociedade (1,2). Tradicionalmente, a avaliação era confiada a pares de reconhecida trajetória, idoneidade e prestígio. No entanto, a fim de eliminar subjetividades, há vários anos são utilizados indicadores bibliométricos que visam uma qualificação mensurável, objetiva e multidimensional (1,3). Indicadores bibliométricos (IB) podem ser definidos como quantificadores de informações bibliográficas, disponíveis em documentos científicos e acadêmicos, passíveis de análise em termos de produção e consumo (1,2). Existe uma tipologia de IB variada (1,2) dependendo do objeto a ser examinado (pesquisador, periódico ou grupo de pesquisa) e que em alguns casos são transversais a ele. Assim, os indicadores pessoais (idade, sexo e formação dos autores) se aplicam apenas a pesquisadores ou grupos, enquanto os de produtividade e impacto também se aplicam a periódicos. Para estes, o indicador de produtividade (quantidade) e, mais ainda, o indicador de impacto ("qualidade") são rotineiramente utilizados para classificá-los e compará-los com o propósito cada vez mais controverso de medir sua pertinência e relevância acadêmica e/ou social (4).

Os periódicos médicos brasileiros referenciam artigos nacionais? Um estudo transversal / Do Brazilian medical journals reference Brazilian articles? A cross-sectional study

Resumo Contexto A produção científica brasileira cresce de forma quantitativa e qualitativa a cada década. Entretanto, há uma desvalorização dos periódicos brasileiros demonstrada através da baixa quantidade de citações em comparação a textos de revistas internacionais, com justificativa subentendida de que há superioridade qualitativa de artigos estrangeiros. Objetivos Verificar a diferença entre o número de citações de periódicos nacionais e internacionais em três revistas brasileiras no período de 2016 a 2020. Métodos Foram analisados todos os artigos publicados na Revista do Colégio Brasileiro de Cirurgiões, no Jornal Vascular Brasileiro e na Acta Cirúrgica Brasileira no intervalo de 2016 a 2020. Os estudos selecionados tiveram suas referências avaliadas, sendo contabilizado o número total de citações e se eram provenientes de periódicos brasileiros ou de periódicos estrangeiros. Resultados Foram analisados 902 artigos, totalizando 23.394 referências, com média de 25,81 ± 8,59 por artigo. Nesse contexto, 2.680 (11,45%) eram nacionais, correspondentes a uma média de 2,95 ± 3,79 referências brasileiras por artigo. Conclusões Faz-se necessária a maior valorização dos periódicos brasileiros, em especial por parte dos pesquisadores nacionais e das instituições responsáveis pelo fomento da ciência.

Abstract Background The quantity and quality of Brazilian scientific output increases decade by decade. However, there is a tendency to undervalue Brazilian journals, illustrated by the low number of citations compared with texts in international journals, with the tacit justification that foreign articles are of superior quality. Objectives To investigate the differences in numbers of citations of Brazilian and international periodicals in three Brazilian journals from 2016 to 2020. Methods All articles published in the Journal of the Brazilian College of Surgeons, in the Jornal Vascular Brasileiro, and in Acta Cirúrgica Brasileira from 2016 to 2020 were analyzed. The references of these studies were analyzed, summing the total number of citations and classifying them as published in Brazilian or foreign journals. Results A total of 902 articles were analyzed, totaling 23,394 references, with a mean of 25.81 ± 8.59 references per article. Of these, 2,680 (11.45%) were Brazilian, equating to a mean of 2.95 ± 3.79 Brazilian references per article. Conclusions It is necessary to improve appreciation of Brazilian periodicals, especially among Brazilian researchers and institutions responsible for science funding.

The Jornal Brasileiro de Psiquiatria: a bibliometric survey of the one hundred most cited articles in the last 15 years / Jornal Brasileiro de Psiquiatria: uma pesquisa bibliométrica sobre os 100 artigos mais citados nos últimos 15 anos

OBJECTIVE: Bibliometrics is a group of statistical and mathematical methods employed to measure and analyze the quantity and the quality of scientific articles, books, and other forms of publications. The objective of the present study was to conduct a bibliometric analysis of the Jornal Brasileiro de Psiquiatria (JBP) by listing its 100 most highly cited articles in the scientific literature and identifying their main characteristics in terms of authorship and research topics and design. METHODS: The 100 topcited references in the JBP were identified through a search with Google Scholar. The main author, last author, corresponding author, the total number of authors, gender of the authors, year of publication, research institution, geographic origin, language, and the research design and subject of each reference were recorded and analyzed. RESULTS: A marked increase in the number of citations in the last 15 years, a relatively balanced distribution of publications among the Brazilian states and research centers, absence of gender bias among authors, and a varied range of published topics suggest a good current editorial performance by the JBP. Relative lack of systematic reviews and longitudinal studies, dearth of articles published in the English language, and modest participation of foreign authors were points requiring improvement. CONCLUSION: The present study suggests that a survey of the 100 most cited articles in the JBP can provide a historical overview of the progress of this journal, as well as highlight the main obstacles, constraints, and challenges faced by its editors and authors.

OBJETIVO: Bibliometria é um grupo de métodos estatísticos e matemáticos empregados para medir e analisar a quantidade e a qualidade de artigos científicos, livros e outras formas de publicações. O objetivo do presente estudo foi realizar uma análise bibliométrica do Jornal Brasileiro de Psiquiatria (JBP), relacionando seus 100 artigos mais citados na literatura científica e identificando suas principais características em termos de autoria e questões de pesquisa e delineamento experimental. MÉTODOS: As 100 referências mais citadas no JBP foram identificadas por meio de uma busca no Google Scholar. Foram registradas e analisadas as seguintes informações: autor principal, último autor, autor correspondente, número total de autores, gênero dos autores, ano de publicação, instituição de pesquisa, origem geográfica e idioma de cada referência e seu tema de investigação e delineamento metodológico. RESULTADOS: O aumento acentuado no número de citações nos últimos 15 anos, a boa distribuição das publicações entre os estados e centros de pesquisa brasileiros, a ausência de viés de gênero entre os autores e a variada gama de tópicos publicados sugerem um bom desempenho editorial atual do JBP. A relativa falta de revisões sistemáticas e estudos longitudinais, os poucos artigos publicados em inglês e a pequena participação de autores estrangeiros são pontos que requerem melhorias. CONCLUSÃO: O presente estudo sugere que o levantamento dos 100 artigos mais citados no JBP pode fornecer um panorama histórico da evolução dessa revista, bem como destacar os principais obstáculos, restrições e desafios enfrentados por seus editores e autores.

Formación para el manejo de publicaciones científicas y páginas web en el ámbito sociosanitario / Training for management of scientific publications and webpages in the sociosanitary context

Este trabajo presenta nociones básicas de formación sobre la búsqueda del conocimiento científico sociosanitario en internet, y reitera el uso de contenidos especializados y de rigor en revistas científicas indexadas en JCR y/o SCOPUS. Además, se ofrece una correcta formación digital en Alfabetización en Salud electrónica (e_AeS), a través del manejo de páginas correctamente contrastadas, según los 15 criterios de calidad de los sitios web y de contenidos especializados sociosanitarios(AU)

This paper presents basic notions about training for the search of socio-sanitary scientific knowledge on the Internet and reiterates the use of specialized and rigorous content in scientific journals indexed in JCR and/or SCOPUS. In addition, a correct digital training in electronic health literacy is offered, through the management of correctly contrasted pages, according to the fifteen quality criteria of the websites and specialized socio-health content(AU)

Las limitaciones de Scopus como fuente de indicadores: Buscando una visibilidad integral para revistas argentinas en ciencias sociales / Limitations of Scopus as a source of indicators: In search for a more comprehensive understanding of the visibility of Argentinian social science journals

Resumen En este trabajo se avanza en la definición de un conjunto de indicadores para medir la visibilidad de las revistas científicas de ciencias sociales de manera integral. Para esto, se considera el uso de fuentes diversas que permitan conocer la citación, la accesibilidad y los alcances de las publicaciones. Se toman como muestra 11 revistas de ciencias sociales editadas en Argentina incluidas en el SCImago Journal & Country Rank. Se analizan sus posiciones en el ranking y el número de citas de esta base y se lo compara con datos recogidos en Google Scholar utilizando la herramienta Publish or Perish. Además, se sistematiza información acerca de su accesibilidad e indicadores de uso y métricas alternativas de sus propios portales, de SciELO, Redalyc y de la base de datos Dimensions. Se pone en evidencia la parcialidad del impacto medido desde Scopus para este grupo de revistas y se demuestra que, al combinar las fuentes, se amplían y diversifican los datos de visibilidad. Para finalizar, se proponen una serie de indicadores básicos de visibilidad integral a partir de las fuentes disponibles que permiten a los gestores de revistas ofrecer datos más certeros de la citación y usos de las revistas y sus artículos.

Abstract This work seeks proposes a group of indicators that can be used to understand the visibility of social science journals in a more comprehensive way. To this end, the use of various sources of data pertaining to citation, accessibility, and reach are considered. A sample of 11 social science journals published in Argentina and indexed in Scimago Journal & Country Rank is used. The ranking and number of citations found in Scopus are analyzed and compared against data obtained from Google Scholar using the Publish or Perish tool. In addition, data regarding the accessibility and use, as well as alternative metrics, are collected from SciELO, Redalyc, and Dimensions and systematized. The analysis highlights the limited ways in which impact is measured using Scopus data and shows that, by combining data from additional sources, new dimensions of visibility are made apparent. The article concludes with a proposal for a new set of comprehensive visibility indicators that rely on freely available data and allow journal managers and editors to offer a more complete picture of the citational impact and use of their journals and articles.

Uso e impacto en las redes sociales por parte de las revistas de reumatología / Use and impact of social networks by rheumatology journals

RESUMEN Introducción: Las redes sociales como Twitter®, Facebook® y YouTube® se han convertido en medios de interacción y visualización de información científica. Han surgido medidas alternativas (almetrics) que evalúan la diseminación y el impacto de las revistas científicas en las redes sociales; sin embargo, se desconoce si existe correlación entre la actividad de las revistas de reumatología en redes sociales y las métricas tradicionales de impacto basadas en número de citaciones. Métodos: Se identificaron las revistas de reumatología a partir de la base de datos de SCImago de Scopus® y se extrajo la información de las métricas tradicionales basadas en el número de citaciones. Se determinaron métricas alternativas de actividad de las revistas en Facebook®, Twitter®, YouTube® e Instagram®. Se evaluó la correlación entre ellas usando el coeficiente de correlación de Spearman, ajustado por el tiempo transcurrido desde la creación de la cuenta. Resultados: De un total de 60 revistas de reumatología, 14 contaban con la presencia en las redes sociales evaluadas. El SCImago Journal Rank (SJR) fue más alto en revistas con red social (90,5 vs. 21; p < 0,05). La correlación entre el SJR y las métricas de actividad del Twitter® fue excelente: con el número de seguidores (r = 0,85), seguidores/ano (r = 0,83) y número de tweets (r = 0,82). Conclusión: Nuestro estudio sugiere que las métricas tradicionales de impacto basadas en el número de citaciones, se correlacionan muy bien con las métricas de presencia en redes sociales de las revistas de reumatología, en especial en Twitter®.

ABSTRACT Introduction: The social networks like Twitter®, Facebook® and YouTube® have become interaction media with visualisation scientific information. Alternative metrics (altmetrics) have emerged that assess the dissemination and the impact of the scientific journals in the social networks. However, it is unknown if there is a correlation between the journal and the traditional measurements of impact based on the number of citations for the journal of rheumatology. Methods: The journals of rheumatology included in Scimago Country and Journal Ranking were identified, and the results of their metrics were collected based on the number of cita tions. The presence in social networks was determined using metrics, such as the number of followers and tweets. The correlation between them was evaluated using the Spearman correlation coefficient, adjusted for the time elapsed since the account was created. Results: Out of a total of 60 rheumatology journals, 14 had a presence in social networks. The Scimago journal ranking indicator (SJR) was higher in journals with a social network (90.5 vs. 21; p< .05). The correlation between the SJR and Twitter® activity metrics was excellent: with the number of followers (r = 0.85), followers/year (r=0.83), and number of tweets (r = 0.82). Conclusion: This study suggests that traditional impact metrics based on the number of cita tions correlate very well with the social network presence metrics of rheumatology journals, especially on Twitter®.

Brazilian authors don't cite Brazilian authors: Nothing has changed since 1994 / Os Autores brasileiros não citam os autores brasileiros: Nada mudou desde 1994

Abstract Objective To outline the profile of self-citations from Revista Brasileira de Ortopedia (Rev Bras Ortop) and citations of this journal in other medical orthopaedic journals with general or specific content in a knowledge area of the specialty. Methods This is an observational cross-sectional study of the frequency of self-citations and citations from Rev Bras Ortop in five other medical orthopaedic journals from different countries, all published in English. The last 15 articles published in 2020 in each of the six journals were analyzed. The references used in each of them were evaluated to identify the journal in which they were originally published. The frequency of distribution of the four main journals cited, their position, and the relative percentage to the total number of citations were observed and recorded in each of the six journals. The number of times that the Rev Bras Ortop was cited in each of the selected foreign journals was assessed using its absolute and relative frequencies. Results The total number of citations evaluated in this study was 2,527 (ranging from 386 to 486 per magazine). Rev Bras Ortop showed a low rate of self-citation (2.6%), being the sixth journal cited in the journal itself (10 out of a total of 386 references). Moreover, Rev Bras Ortop was not mentioned in any of the other five medical journals included in the study (absolute frequency 0, relative frequency 0). Conclusion Rev Bras Ortop has a low reference of itself, with a self-citation rate of 2.6% in the studied period, showing that the Brazilian orthopaedic surgeons do not mention the Brazilian orthopaedic surgeon who publishes in the journal. We suggest the elaboration and implementation of strong strategies to improve the journal's visibility in the world academic-scientific scenario. In addition, it is essential that Brazilian orthopaedic surgeons understand this reality and assist directly and effectively to change this scenario.

Resumo Objetivo Observar o perfil de autocitações da Revista Brasileira de Ortopedia (Rev Bras Ortop) e de citações deste periódico em outras revistas médicas de ortopedia de conteúdo geral ou específico de uma determinada área de conhecimento da especialidade. Métodos Trata-se de estudo observacional transversal da frequência de autocitações e citações da Rev Bras Ortop em outros cinco periódicos médicos de ortopedia de diferentes países, todas publicadas em língua inglesa. Foram analisados os 15 últimos artigos publicados em 2020 em cada uma das seis revistas estudadas. As referências usadas em cada um delas foi avaliada para identificação do periódico em que foram publicadas originalmente. A distribuição de frequência dos quatro principais periódicos citados, sua posição e o percentual relativo ao total de citações foram observados e registrados em cada uma das seis revistas. O número de vezes em que a Rev Bras Ortop foi citada em cada um dos periódicos estrangeiros selecionados foi avaliado por meio de suas frequências absoluta e relativa. Resultados O total de citações avaliadas neste estudo foi de 2527 (variando de 386 a 486 por revista). A Rev Bras Ortop apresentou baixa taxa de autocitação (2,6%), sendo citada na própria revista na sexta posição (10 de um total de 386 referências). No período estudado, a Rev Bras Ortop não foi citada em nenhum dos outros cinco periódicos médicos incluídos no estudo (frequência absoluta 0, frequência relativa 0). Conclusão Observou-se que a Rev Bras Ortop apresenta baixa referência de si própria, com taxa de autocitação de 2,6% no período estudado, mostrando que de fato o ortopedista brasileiro não cita o ortopedista brasileiro que publica na revista. Sugerimos a elaboração e a implementação de estratégias fortes de melhora da visibilidade do periódico no cenário acadêmico-científico mundial. Além disso, é fundamental que os ortopedistas brasileiros entendam esta realidade e auxiliem direta e efetivamente em sua mudança.